Vector Policy Optimization: Training for Diversity Improves Test-Time Search
向量策略优化：为提升测试时搜索而训练多样性
🧭 RL 后训练多样性优化 · 测试时搜索 ★ 深度解读
MIT · Improbable AI Lab · MIT-IBM Computing Research Lab · Sakana AI
用向量奖励和随机标量化替代固定标量奖励，训练语言模型输出覆盖帕累托前沿的多样候选集，使测试时搜索收益随预算持续扩大。
📌 工作参考价值（4 点）
- 多目标推荐/排序：在电商推荐中，CTR、GMV、多样性常需平衡。借鉴 VPO 的向量奖励设计：将各指标作为独立维度，训练时随机采样权重标量化，鼓励模型生成覆盖不同 trade-off 的候选集，供下游重排或搜索选择。
- Agent 工具调用与多步推理：Agent 任务天然可拆解为子奖励（格式正确、工具名准确、参数填充质量等）。使用 VPO 可避免策略过早收敛到单一模式，保留探索能力，提升 test-time 搜索（如 beam search、进化算法）的解空间质量。
- 生成式推荐中的多样候选生成：需生成多个推荐理由或商品序列时，直接在一条 autoregressive chain 中输出多个答案（multi‑answer chain），配合 VPO 的 set‑level 奖励，能获得内在差异化的候选，减少后续 rerank 的冗余。
- 训练效率与多样性平衡：若担心 VPO 牺牲单次生成精度，可在上线时结合 pass@1 和 pass@k 评估；也可仅在搜索型场景（如多轮交互式 Agent）使用 VPO 微调，而单次推理保留 GRPO 版本，实现按场景切换。